预测性编码（PC）是计算神经科学中的有影响力的理论，它认为皮层通过实施层次结构的预测误差最小化过程来形成无监督的世界模型。 PC网络（PCN）分为两个阶段。首先，更新神经活动以优化网络对外部刺激的反应。其次，更新突触权重以整合活动中的这种变化 - 一种称为\ emph {前瞻性配置}的算法。虽然先前的工作已经显示了如何在各种限制下发现近似倒流（BP），但最近的工作表明，在该标准制度中运行的PCN不近似BP，但仍获得了竞争性培训和广泛性培训，以进行BP训练。网络在诸如在线，几乎没有射击和持续学习之类的任务上的网络效果超过了它们，在该任务中，大脑擅长于大脑。尽管这种有希望的经验表现，但理论上对PCN的性质和动力学在该制度中的理解很少。在本文中，我们对经过预期配置训练的PCN的性质进行了全面的理论分析。我们首先得出有关PCN的推理平衡以及与目标传播（TP）的紧密联系关系的分析结果。其次，我们提供了PCN中学习的理论分析，作为广义期望最大化的变体，并使用它来证明PCN与BP损耗函数的关键点的收敛性，从而表明，从理论上讲，深色PCN可以实现相同的实现。作为BP的概括性能，同时保持其独特的优势。
translated by 谷歌翻译
大脑如何执行信用分配是神经科学中的基本未解决问题。已经提出了许多“生物学上合理的”算法，这些算法计算了近似通过反向传播计算的梯度（BP），并以更紧密地满足神经回路施加的约束的方式运行。许多这样的算法都利用了基于能量的模型（EBM）的框架，其中对模型中的所有自由变量进行了优化以最大程度地减少全局能量函数。但是，在文献中，这些算法存在于孤立状态，没有将它们联系在一起的统一理论。在这里，我们提供了一个全面的理论，说明EBM可以近似BP的条件，这使我们能够统一许多BP近似值导致文献中的许多BP近似（即预测性编码，平衡传播和HEBBIAN学习），并证明它们的近似值均为BP源于自由相平衡处EBM的简单和一般数学特性。然后可以通过不同的能量函数以不同的方式利用该属性，这些特定选择产生了BP Approxatimating算法的家族，两者都包含文献中的已知结果，并且可用于得出新的结果。
translated by 谷歌翻译
文献中已经提出了许多关联记忆的神经网络模型。其中包括经典的Hopfield网络（HNS），稀疏分布式记忆（SDM）以及最近的现代连续Hopfield网络（MCHN），该网络在机器学习中具有与自我注意力的紧密联系。在本文中，我们提出了一个通用框架，以理解此类内存网络的操作，例如三个操作的顺序：相似性，分离和投影。我们将所有这些记忆模型作为我们的一般框架的实例，具有不同的相似性和分离函数。我们将Krotov等人（2020）的数学框架扩展到使用神经元之间仅具有二阶相互作用的神经网络动力学来表达通用的关联存储模型，并得出了一种通用能量函数，该函数是动力学的lyapunov函数。最后，使用我们的框架，我们从经验上研究了这些关联记忆模型使用不同相似性函数的能力，超出了点产品相似性度量，并从经验上证明了欧几里得或曼哈顿距离距离相似性指标在实践中在许多任务中表现出色，从而启用了一项启用一项效果比现有模型更强大的检索和更高的内存能力。
translated by 谷歌翻译
In this paper we derive a PAC-Bayesian-Like error bound for a class of stochastic dynamical systems with inputs, namely, for linear time-invariant stochastic state-space models (stochastic LTI systems for short). This class of systems is widely used in control engineering and econometrics, in particular, they represent a special case of recurrent neural networks. In this paper we 1) formalize the learning problem for stochastic LTI systems with inputs, 2) derive a PAC-Bayesian-Like error bound for such systems, 3) discuss various consequences of this error bound.
translated by 谷歌翻译
The aim of this study is to define importance of predictors for black box machine learning methods, where the prediction function can be highly non-additive and cannot be represented by statistical parameters. In this paper we defined a ``Generalized Variable Importance Metric (GVIM)'' using the true conditional expectation function for a continuous or a binary response variable. We further showed that the defined GVIM can be represented as a function of the Conditional Average Treatment Effect (CATE) squared for multinomial and continuous predictors. Then we propose how the metric can be estimated using using any machine learning models. Finally we showed the properties of the estimator using multiple simulations.
translated by 谷歌翻译
Various depth estimation models are now widely used on many mobile and IoT devices for image segmentation, bokeh effect rendering, object tracking and many other mobile tasks. Thus, it is very crucial to have efficient and accurate depth estimation models that can run fast on low-power mobile chipsets. In this Mobile AI challenge, the target was to develop deep learning-based single image depth estimation solutions that can show a real-time performance on IoT platforms and smartphones. For this, the participants used a large-scale RGB-to-depth dataset that was collected with the ZED stereo camera capable to generated depth maps for objects located at up to 50 meters. The runtime of all models was evaluated on the Raspberry Pi 4 platform, where the developed solutions were able to generate VGA resolution depth maps at up to 27 FPS while achieving high fidelity results. All models developed in the challenge are also compatible with any Android or Linux-based mobile devices, their detailed description is provided in this paper.
translated by 谷歌翻译
隐私已成为机器学习的主要问题。实际上，联合学习是出于隐私问题而激发的，因为它不允许传输私人数据，而仅传输中间更新。但是，联邦学习并不总是保证隐私保护，因为中间更新也可能揭示敏感信息。在本文中，我们对高斯混合模型的联合期望最大化算法进行了明确的信息理论分析，并证明了中间更新可能导致严重的隐私泄漏。为了解决隐私问题，我们提出了一个完全分散的隐私解决方案，该解决方案能够安全地计算每个最大化步骤中的更新。此外，我们考虑了两种不同类型的安全攻击：诚实但有趣而窃听的对手模型。数值验证表明，就准确性和隐私水平而言，与现有方法相比，所提出的方法具有优越的性能。
translated by 谷歌翻译
我们展示了如何构建深度神经网络（DNN）专家，以预测给定计算问题的准最佳$ HP $ - 翻新。主要想法是在执行自适应$ HP $ -FINITE元素方法（$ HP $ -FEM）算法的过程中培训DNN专家，并以后使用它来预测进一步的$ HP $细化。在培训中，我们使用两个网格范式自适应$ HP $ -FEM算法。它采用精细网格为粗网格元素提供最佳$ HP $改进。我们旨在构建DNN专家，以识别粗网格元素的准最佳$ HP $改进。在训练阶段，我们使用直接求解器获取细网元的溶液，以指导粗网格元件上的最佳修补。训练后，我们关闭了自适应$ hp $ -FEM算法，并继续按照受过DNN专家培训的DNN专家提出的准优化细化。我们测试了三维FICHERA和二维L形域问题的方法。我们验证数值相对于网格尺寸的收敛性。我们表明，如果我们继续使用经过适当培训的DNN专家进行改进，则可以保留由自适应$ hp $ -FEM提供的指数融合。因此，在本文中，我们表明，从自适应$ hp $ -fem中，可以训练DNN专家的奇异性位置，并继续选择准最佳的$ hp $ previness该方法的指数收敛性。
translated by 谷歌翻译
班级不平衡问题是许多现实世界中的机器学习任务的固有，尤其是对于罕见的事实分类问题。尽管数据不平衡的影响和处理是广为人知的，但度量标准对阶级失衡的敏感性的幅度很少引起关注。结果，敏感的指标通常被忽略，而其敏感性可能只有边际。在本文中，我们介绍了一个直观的评估框架，该框架量化了指标对类不平衡的敏感性。此外，我们揭示了一个有趣的事实，即指标的敏感性存在对数行为，这意味着较高的失衡比与指标的较低灵敏度有关。我们的框架建立了对阶级不平衡对指标的影响的直观理解。我们认为，这可以帮助避免许多常见的错误，特别是强调和错误的假设，即在不同的级别不平衡比率下所有指标的数量都是可比的。
translated by 谷歌翻译
太阳耀斑不仅对外层空间的技术和宇航员的健康构成风险，而且还会在我们的高科技，相互联系的基础设施中造成破坏我们的生活。尽管已经提出了许多机器学习方法来改善耀斑预测，但据我们所知，它们都没有研究过异常值对可靠性和这些模型的性能的影响。在这项研究中，我们研究了异常值在多元时间序列基准数据集中的影响，即天鹅 - SF对耀斑预测模型，并检验我们的假设。也就是说，Swan-SF中存在异常值，将其删除增强了看不见的数据集上预测模型的性能。我们采用隔离森林来检测弱耀斑实例之间的异常值。使用大量污染速率进行了几项实验，这些污染速率确定了当前异常值的百分比。我们使用LimeseriessVC来评估每个数据集的实际污染质量。在我们最好的发现中，我们的真实技能统计数据增加了279％，海德克技能得分提高了68％。结果表明，如果检测到并正确删除异常值，总体上可以取得重大改进来爆发预测。
translated by 谷歌翻译